MMSMCNet: Modal Memory Sharing and Morphological Complementary Networks for RGB-T Urban Scene Semantic Segmentation

分享人：刘劲夫
研究方向：语义分割
论文题目：MMSMCNet: Modal Memory Sharing and Morphological Complementary Networks for RGB-T Urban Scene Semantic Segmentation
论文作者：Wujie Zhou, Han Zhang, Weiqing Yan, Weisi Lin
作者单位：浙江科技学院、南洋理工大学
论文摘要：将彩色 (RGB) 图像与热图像相结合可以促进光线不足城市场景的语义分割。然而，对于RGB-T语义分割，大多数现有模型通过仅关注探索样本来解决跨模态特征融合，而忽略了不同样本之间的关系。此外，尽管在解码过程中考虑了边界、二进制和语义信息的重要性，但不同形态特征之间的差异和互补性通常被忽略。在本文中，作者提出了一种新颖的RGB-T语义分割网络，称为MMSMCNet，基于模态记忆融合和形态多尺度辅助来解决上述问题。对于这个网络，在编码部分，本文使用SegFormer进行双峰输入的特征提取。 接下来，模态记忆共享模块实现了跨模态多尺度的样本信息的分阶段学习和记忆共享。此外，本文构建了由三个逐层解码单元组成的解码联合单元，可以根据信息类别提取两种不同的形态特征，实现多尺度跨模态融合信息的互补利用。每个单元包含一个基于细节信息的轮廓定位模块、一个以深层特征为主要输入的骨架定位模块、以及一个用于前两类信息相互增强和语义信息构建的形态补充模块。在此基础上，本文构建了一种新的监督策略，即基于多单元的互补监督策略。基于两个标准数据集的大量实验表明MMSMCNet的性能优于相关的SoTA方法。代码位于：https://github.com/2021nihao/MMSMCNet
原文链接：

点击此处